As the COVID-19 pandemic puts pressure on healthcare systems worldwide, the computed tomography image based AI diagnostic system has become a sustainable solution for early diagnosis. However, the model-wise vulnerability under adversarial perturbation hinders its deployment in practical situation. The existing adversarial training strategies are difficult to generalized into medical imaging field challenged by complex medical texture features. To overcome this challenge, we propose a Contour Attention Preserving (CAP) method based on lung cavity edge extraction. The contour prior features are injected to attention layer via a parameter regularization and we optimize the robust empirical risk with hybrid distance metric. We then introduce a new cross-nation CT scan dataset to evaluate the generalization capability of the adversarial robustness under distribution shift. Experimental results indicate that the proposed method achieves state-of-the-art performance in multiple adversarial defense and generalization tasks. The code and dataset are available at https://github.com/Quinn777/CAP.
translated by 谷歌翻译
视觉模型最近在许多计算机视觉任务上显示出巨大的潜力。同时,与线性探针相比,先前的工作表明,与线性探针相比,这是较少的图像识别的迅速调整,可以在很少的图像识别上获得卓越的性能。在实际应用程序中,相关的几个射击任务是相关的,尤其是在专业领域。但是,以前的工作忽略了此类信息。受到以下事实的启发,即通过多任务学习通常可以提高性能,我们提出了一种新颖的方法softcpt(迅速调整的软上下文共享),以微调多个目标几个目标任务的预训练的视觉模型, 同时。具体来说,我们设计了一个任务共享的元网络,以使用预定义的任务名称以及可学习的元提示为输入为每个任务生成提示向量。因此,所有任务的迅速向量将以软的方式共享。该共享的元网络的参数以及元提示向量都在所有目标任务的联合培训集中调整。在三个多任务少量数据集上进行的广泛实验表明,SoftCpt的表现优于代表性的单任务提示方法Coop [78],这意味着多任务学习在视觉及时及时调整中的有效性。源代码和数据将公开可用。
translated by 谷歌翻译
最近已经为医疗图像分割任务创建了许多医疗数据集,并且自然质疑我们是否可以使用它们来依次训练(1)在所有这些数据集中表现更好的单个模型,并且(2)良好的概括和传输更好到未知的目标站点域。先前的工作通过在多站点数据集上共同训练一个模型来实现这一目标,该模型平均实现了竞争性能,但是这种方法依赖于所有培训数据的可用性的假设,从而限制了其在实际部署中的有效性。在本文中,我们提出了一个称为增量转移学习(ITL)的新型多站点分割框架,该框架以端到端的顺序方式从多站点数据集中学习模型。具体而言,“增量”是指顺序构建的数据集,而“转移”是通过利用每个数据集上嵌入功能的线性组合的有用信息来实现的。此外,我们介绍了ITL框架,在该框架中,我们在其中训练网络,包括具有预先训练的权重和最多两个分段解码器头的站点不合时宜的编码器。我们还设计了一种新型的站点级增量损失,以便在目标域上良好地概括。其次,我们首次表明利用我们的ITL培训计划能够减轻富有灾难性的遗忘问题,从而在渐进学习中遇到了挑战。我们使用五个具有挑战性的基准数据集进行实验,以验证我们的增量转移学习方法的有效性。我们的方法对计算资源和特定于领域的专业知识的假设最少,因此构成了多站点医学图像细分的强大起点。
translated by 谷歌翻译
在本文中,我们制定了一个潜在的有价值的全景深度完成(PDC)任务,因为全景3D摄像机通常会产生360 {\ deg}深度,而在复杂场景中缺少数据。它的目标是从原始的稀疏图像和全景RGB图像中恢复密集的全景深度。为了处理PDC任务,我们训练一个深度网络,该网络将深度和图像作为密集的全景深度恢复的输入。但是,由于其非凸目标函数,它需要面对网络参数的具有挑战性的优化问题。为了解决这个问题,我们提出了一种简单而有效的方法,称为m {^3} pt:多模式掩盖的预训练。具体而言,在预训练期间,我们同时覆盖了全景RGB图像和通过共享随机掩码的稀疏深度的斑块,然后重建掩盖区域中的稀疏深度。据我们所知,这是我们第一次在多模式视觉任务中展示蒙版预训练的有效性,而不是蒙版自动编码器(MAE)解决的单模式任务。与MAE进行微调完全丢弃了预训练的解码器部分,在我们的M $^{3} $ pt中的预训练和微调阶段之间没有建筑差异,因为它们在预测密度方面只有不同,这有可能使转移学习更加方便和有效。广泛的实验验证了三个全景数据集上M {^3} PT的有效性。值得注意的是,我们在RMSE中平均将最先进的基线提高了26.2%,MRE的51.7%,MAE为49.7%,在三个基准数据集中将RMSelog的RMSelog在37.5%中提高了37.5%。
translated by 谷歌翻译
由于波长依赖性的光衰减,折射和散射,水下图像通常遭受颜色变形和模糊的细节。然而,由于具有未变形图像的数量有限数量的图像作为参考,培训用于各种降解类型的深度增强模型非常困难。为了提高数据驱动方法的性能,必须建立更有效的学习机制,使得富裕监督来自有限培训的示例资源的信息。在本文中,我们提出了一种新的水下图像增强网络,称为Sguie-net,其中我们将语义信息引入了共享常见语义区域的不同图像的高级指导。因此,我们提出了语义区域 - 明智的增强模块,以感知不同语义区域从多个尺度的劣化,并将其送回从其原始比例提取的全局注意功能。该策略有助于实现不同的语义对象的强大和视觉上令人愉快的增强功能,这应该由于对差异化增强的语义信息的指导应该。更重要的是,对于在训练样本分布中不常见的那些劣化类型,指导根据其语义相关性与已经良好的学习类型连接。对公共数据集的广泛实验和我们拟议的数据集展示了Sguie-Net的令人印象深刻的表现。代码和建议的数据集可用于:https://trentqq.github.io/sguie-net.html
translated by 谷歌翻译
图形神经网络(GNNS)在学习从图形结构数据中展示了成功,其中包含欺诈检测,推荐和知识图形推理。然而,培训GNN有效地具有挑战性,因为:1)GPU存储器容量有限,对于大型数据集可能不足,而2)基于图形的数据结构导致不规则的数据访问模式。在这项工作中,我们提供了一种统计分析的方法,并确定了GNN培训前更频繁地访问的数据。我们的数据分层方法不仅利用输入图的结构,而且还从实际GNN训练过程中获得了洞察力,以实现更高的预测结果。通过我们的数据分层方法,我们还提供了一种新的数据放置和访问策略,以进一步最大限度地减少CPU-GPU通信开销。我们还考虑了多GPU GNN培训,我们也展示了我们在多GPU系统中的策略的有效性。评估结果表明,我们的工作将CPU-GPU流量降低了87-95%,并通过数亿节点和数十亿边缘的图表提高了现有解决方案的GNN训练速度。
translated by 谷歌翻译
深度完成处理从稀疏的问题恢复密集深度映射,其中彩色图像通常用于促进此任务。最近的方法主要集中在图像引导学习中预测致密结果。然而,图像中的模糊引导和深度不明确的结构仍然妨碍了图像引导框架的性能。灵感来自于观察和思考的流行机制两次,我们探讨了我们的图像引导网络中的重复设计逐渐恢复了深度值。具体地,重复体现在图像引导分支和深度生成分支中。在前一个分支中,我们设计了一种重复的沙漏网络,以提取复杂环境的判别图像特征,这可以为深度预测提供强大的上下文指导。在后一分支中,我们介绍了一种基于动态卷积的重复引导模块,其中提出了高效的卷积分解,以同时降低其复杂性和逐步模型的高频结构。广泛的实验表明,我们的方法在基蒂基准和NYUV2数据集上实现了最先进的结果。
translated by 谷歌翻译
受到计算机愿景和语言理解的深度学习的巨大成功的影响,建议的研究已经转移到发明基于神经网络的新推荐模型。近年来,我们在开发神经推荐模型方面目睹了显着进展,这概括和超越了传统的推荐模型,由于神经网络的强烈代表性。在本调查论文中,我们从建议建模与准确性目标的角度进行了系统审查,旨在总结该领域,促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用,我们将工作划分为协作过滤和信息丰富的建议:1)协作滤波,其利用用户项目交互数据的关键来源; 2)内容丰富的建议,其另外利用与用户和项目相关的侧面信息,如用户配置文件和项目知识图; 3)时间/顺序推荐,其考虑与交互相关的上下文信息,例如时间,位置和过去的交互。在为每种类型审查代表性工作后,我们终于讨论了这一领域的一些有希望的方向。
translated by 谷歌翻译
Due to their ability to offer more comprehensive information than data from a single view, multi-view (multi-source, multi-modal, multi-perspective, etc.) data are being used more frequently in remote sensing tasks. However, as the number of views grows, the issue of data quality becomes more apparent, limiting the potential benefits of multi-view data. Although recent deep neural network (DNN) based models can learn the weight of data adaptively, a lack of research on explicitly quantifying the data quality of each view when fusing them renders these models inexplicable, performing unsatisfactorily and inflexible in downstream remote sensing tasks. To fill this gap, in this paper, evidential deep learning is introduced to the task of aerial-ground dual-view remote sensing scene classification to model the credibility of each view. Specifically, the theory of evidence is used to calculate an uncertainty value which describes the decision-making risk of each view. Based on this uncertainty, a novel decision-level fusion strategy is proposed to ensure that the view with lower risk obtains more weight, making the classification more credible. On two well-known, publicly available datasets of aerial-ground dual-view remote sensing images, the proposed approach achieves state-of-the-art results, demonstrating its effectiveness. The code and datasets of this article are available at the following address: https://github.com/gaopiaoliang/Evidential.
translated by 谷歌翻译
In contrast to the control-theoretic methods, the lack of stability guarantee remains a significant problem for model-free reinforcement learning (RL) methods. Jointly learning a policy and a Lyapunov function has recently become a promising approach to ensuring the whole system with a stability guarantee. However, the classical Lyapunov constraints researchers introduced cannot stabilize the system during the sampling-based optimization. Therefore, we propose the Adaptive Stability Certification (ASC), making the system reach sampling-based stability. Because the ASC condition can search for the optimal policy heuristically, we design the Adaptive Lyapunov-based Actor-Critic (ALAC) algorithm based on the ASC condition. Meanwhile, our algorithm avoids the optimization problem that a variety of constraints are coupled into the objective in current approaches. When evaluated on ten robotic tasks, our method achieves lower accumulated cost and fewer stability constraint violations than previous studies.
translated by 谷歌翻译